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准确 识别 言语 中 的 情绪 韵律 信息 对 社会 交往 非常 重要 。 本 研究 采用 功能 近 红 外 成 像 技 术 ,， 探索 外 显 和 内 
情绪 韵律 加 工 过 程 中 的 大 
快乐 韵律 进行 特异 性 加 工 的 脑 区 分 别 为 左 侧 额 极 / 眶 额 叶 、 右 侧 缘 上 回 、 左 侧 额 下 


疯 皮 层 神 经 活动 。 结 果 表明 ,对 愤怒 、 您 惧 、 
E, 其 中 右 侧 缘 上 回 脑 区 同时 受 


到 情绪 和 任务 的 调控 。 此 外 , 右 侧 桔 中 回 、 杜 下 回 和 杜 极 在 情绪 外 显 任务 中 的 激活 明显 强 于 内 隐 任 务 。 本 研究 的 


结果 部 分 支持 了 情绪 韵律 的 层次 模型 ,也 对 该 模型 


的 第 三 层次 ， 即 “ 额 


绪 加 工 任务 参与 "提出 了 质疑 。 
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准确 解码 情绪 信息 不 但 对 人 类 的 生存 至 关 重 
要 ， 而 且 还 能 帮助 我 们 在 社会 交往 中 感知 他 人 的 情 
绪 状 态 、 推 测 他 人 的 意图 。 在 日 常 交 流 中 常见 的 传 
递 情绪 的 载体 包括 面孔 表情 、 身 体 姿 态 、 语 音 等 。 
对 面孔 和 身体 姿势 情绪 信息 的 加 工 通过 视觉 通道 
完成 ,目前 其 神经 机 制 已 经 得 到 了 较 充分 的 揭示 
(参见 综述 Calvo & Nummenmaa, 2016; Enea & Iancu， 
2016; Hinojosa et al., 2015). 相 比 于 视觉 通道 ,我 们 
对 语音 中 情绪 信息 的 解码 机 制 还 不 是 非常 清楚 
(Liebenthal et al., 2016)。 语 音 的 情绪 信息 可 以 通过 
语义 和 韵律 表达 。 本 研究 拟 考 察 情 绪 韵 律 加 工 的 神 
经 机 制 。 情 绪 性 韵律 (affective prosody) 是 指 说 话 人 
不 依赖 语义 和 语法 结构 , 借助 语音 中 的 音 高 . 音 长 、 
音 强 、 重 音 和 语调 等 多 种 声学 线索 的 动态 变化 来 表 
达 和 传递 情绪 的 方式 (Briick et al., 2011)。 语音 的 情 
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绪 韵 律 线索 不 但 帮助 我 们 理解 说 话 人 的 语义 和 情 
绪 状 态 ， 当 情绪 韵律 与 语义 信息 冲突 时 , 我 们 通常 
依赖 前 者 去 推测 说 话 人 的 意图 (Ben-David et al., 
2016)。 例 如 ， 当 某 人 用 愤怒 的 情绪 韵律 说 “我 真 邓 
运 ” 时 ,我们 会 认为 说 话 人 想 表 达 愤 怒 情 绪 。 因 此 ， 
对 语音 中 情绪 韵律 的 加 工 与 我 们 的 生活 和 社会 交 
往 密 切 相关 (Briick et al., 2011; Friihholz et al., 2016)。 
揭示 和 阐明 情绪 韵律 加 工 的 神经 机 制 ， 不 但 帮助 我 
们 认识 大 脑 的 情绪 语音 加 工 过 程 ， 也 有 利于 对 具有 
社会 功能 障碍 的 患者 ( 自 闭 症 、 精 神 分 裂 症 、 抑 郁 
症 等 ) 进 行 早期 诊断 和 康复 评估 (Knight & Baune, 
2019; Lin et al., 2018)。 此 外 ,揭示 大 脑 对 情绪 韵律 
的 解码 规则 是 人 工 合成 情绪 性 语音 语调 的 基础 ， 这 
将 极 大 促进 人 工 智能 和 人 -机 交互 界面 的 发 展 
(Mitchell & Xu, 2015). 

早期 关于 情绪 韵律 加 工 的 神经 机 制 模型 (Ross， 
1981) 认 为 ,情绪 韵律 完全 由 右 半 脑 完 成 ， 其 中 右 
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M EJE (superior temporal cortex，STCD 中 与 左 
脑 Wernicke 区 对 应 的 部 位 负责 情绪 韵律 的 感知 和 
理解 右 背 外 侧 前 额 叶 中 与 左 脑 Broca 区 对 应 的 部 
位 负责 产生 情绪 性 语音 韵律 。 随 着 研究 的 深入 ,学 
者 们 逐渐 发 现 大 脑 皮 层 的 其 他 部 分 和 皮下 结构 也 
参与 了 情绪 韵律 的 加 工 ， 逐 渐 形 成 了 情绪 韵律 加 工 
的 层次 模型 (hierarchical model; Briick et al., 2011; 
Ethofer et al. 2006; Schirmer & Kotz, 2006; Witteman 
et al., 2012)。 该 模型 认为 大 脑 对 情绪 韵律 的 加 工分 
为 三 个 层次 : 1) 对 声音 敏感 的 STC 的 中 部 (mid-STC) 
接收 初级 听觉 皮层 的 神经 信号 , 负责 提取 语音 中 的 
声学 参数 ; 2) 右 侧 STC 的 后 部 (p-STC) 通 过 多 通道 整 
合 的 方式 识别 语音 中 的 情绪 信息 ; 3) 以 双 侧 额 上 回 
(inferior frontal gyrus, IFG) 和 有 眶 额 皮 层 (orbitofrontal 
cortex，OFC) 为 代表 的 额 区 负责 对 语音 中 的 情绪 信 
息 进 行 评 估 和 精细 加 工 。 情 绪 韵律 加 工 的 层次 模型 
认为 ,听觉 信息 从 初级 听 皮 层 传 至 mid-STC 的 过 程 
为 自 底 向 上 的 刺激 驱动 加 工 ， 而 在 p-STC FIA DCE 
行 的 语音 信息 整合 和 情绪 精细 加 工 需要 依赖 于 注 
意 和 外 显 性 情绪 评估 (Briick et al., 2011)。 进 一 步 
的 ，Friihholz 等 2016) 在 对 情绪 声音 (包括 非 人 类 发 
出 的 声音 、 人 类 的 非 言语 声音 、 韵 律 语音 、 音 乐 ) 
的 加 工 脑 机 制 研 究 结 果 进 行 元 分 析 后 指出 ,情绪 声 
音 加 工 依赖 于 广泛 分 布 的 神经 网 络 ， 其 核心 脑 区 包 
括 杏仁 核 (Frihholz et al., 2015)、 初 级 和 次 级 听 党 皮 
JZ. Ath] STC (Frihholz & Grandjean, 2013a) IFG 
(Frihholz & Grandjean, 2013b), OFC (Kotz et al., 
2013)、 脑 岛 (Mothes-Lasch et al., 2011). 

我 们 认为 在 情绪 韵律 加 工 的 脑 机 制 方面 ， 目 前 
有 三 个 问题 需要 解决 。 第 一 , 不 同情 绪 种 类 的 语音 
WIFEAY AA ATE. CALA CR TR RR RL 
ERR AAR (55 Sp BE AS Ti A YD ORAS EER YY 
脑 区 ， 即 大 脑 对 不 同 种 类 情绪 的 加 工具 有 相对 特异 
性 (Lindquist et al., 2012), 但 这 一 结论 主要 是 依据 
视觉 通道 的 研究 证 据 得 出 的 (例如 面孔 表情 、 身 体 
姿势 、 情 绪 词 加 工 等 任务 )。 在 情绪 的 听觉 加 工 领 
域 ， 特 别 是 情绪 韵律 加 工 方面 目前 已 发 现 有 两 项 
相关 研究 ， 他 们 利用 机 器 学 习 算 法 ,采用 数据 驱动 
的 方式 对 被 试 在 收听 不 同 种 类 情绪 韵律 的 功能 性 
核磁 共振 成 像 (functional magnetic resonance imaging， 


! STC FH #i_E [Fl (superior temporal gyrus, STG), WiP El (middle 
temporal gyrus, MTG) Ail #i_|: 74 (superior temporal sulcus, STS) = 
部 分 组 成 。 


fMRD 激 活 模 式 进 行 分 类 (Ethofer et al., 2009a; Kotz 
et al., 2013)。 结 果 发 现 , 对 多 分 类 (区 分 不 同 种 类 的 
情绪 ) 有 贡献 的 脑 区 包括 : 对 上 回 (superior temporal 
gyrus, STG) $i _E 4 (superior temporal sulcus, STS), 
il P [=] (middle temporal gyrus, MTG), 、IFG 、 额 中 回 
(middle frontal gyrus, MFG)、 前 脑 岛 。 这 两 项 研究 
表明 ， 上 述 脑 区 对 不 同 种 类 情绪 韵律 的 加 工具 有 一 
定 的 区 分 度 ( 即 特异 性 )。 另 外 Kotz 等 人 (2013) 还 对 
比 了 多 种 情绪 韵律 与 中 性 韵律 激活 的 脑 区 ， 发 现 每 
种 情绪 都 激活 了 不 同 的 脑 区 ， 例 如 ,， 慎 翁 韵律 比 中 
性 韵律 更 强 地 激活 了 双 侧 MFG, 快乐 韵律 比 中 性 
韵律 更 强 地 激活 了 左 侧 IFG。 然 而 , 除了 上 述 三 项 
人 研究， 目前 在 情绪 韵律 加 工 方面 已 有 的 研究 ， 大 多 
只 关注 了 某 一 种 情绪 韵律 与 中 性 韵律 的 差异 性 大 
脑 表 征 , 很 少 考察 大 脑 对 不 同情 绪 种 类 韵律 的 特异 
性 加 工 (Frihholz & Grandjean，2013a)。 我 们 认为 ， 
仅 比 较 某 种 情绪 与 中 性 条 件 的 差异 性 脑 区 ， 并 不 能 
获得 情绪 韵律 加 工 的 “特异 性 ” 脑 区 。 本 研究 将 考察 
ER., TR, RRAZKI (Liu & Pell, 
2012) 且 具有 代表 性 的 情绪 韵律 的 特异 性 加 工 脑 
Ko BRK, 我 们 将 对 三 种 情绪 韵律 条 件 进行 两 两 
比较 ,尝试 找寻 仪 参与 单 种 情绪 韵律 加 工 的 脑 区 。 
依据 相关 文献 (Friihholz & Grandjean, 2013b), 我 们 
预期 在 IFG 等 额 区 可 能 发 现 能 区 分 三 种 情绪 韵律 
的 特异 性 脑 区 。 

第 二 ,“ 情 绪 相 关 ” 任 务 与 “情绪 无 关 ” 任 务 (task 
relevant/irrelevant) 激 活 脑 区 的 异同 。 虽 然 已 有 一 些 
人 研究 采用 外 显 和 内 隐 任 务 比 较 了 两 种 条 件 下 情绪 
韵律 加 工 参 与 脑 区 的 差异 , 但 目前 矛盾 的 结果 还 很 
Z. 例如 ， 有 研究 发 现 内 隐 任 务 激活 了 p-STG， 而 外 
显 任务 反而 激活 了 mid-STG (Frühholz et al., 2012), 
这 与 前 文 所 述 的 层次 模型 的 预期 相反 。 此 外 ,不 少 
研究 发 现 杏 仁 核 、 脑 岛 等 情绪 脑 区 在 外 显 任务 中 的 
激活 比 内 隐 任 务 更 强 (Friihholz et al., 2012); 而 另 一 
些 研 究 则 同时 在 外 显 和 内 隐 任 务 中 观察 到 了 情绪 
主 效应 ， 即 愤怒 等 情绪 韵律 比 中 性 韵律 在 这 些 脑 区 
均 诱发 了 更 强 的 神经 活动 (Bach et al., 2008; Ethofer 
et al., 2009b; Quadflieg et al., 2008)。 更 重要 的 是 ， 
已 有 研究 在 额 区 的 发 现 也 不 一 致 : 有 研究 报道 外 显 
和 内 隐情 绪 任 务 均 会 激活 双 侧 或 单 侧 IFG (Friihholz 
et al., 2012; Steber et al., 2020), 但 也 有 研究 观察 到 
了 OFG (Ethofer et al., 2009b; Quadflieg et al., 2008) 
和 IFG (Bach et al., 2008; Beaucousin et al., 201 1) 等 
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脑 区 在 外 显 任务 中 有 更 强 的 激活 。 我 们 认为 ， 现 有 
的 矛盾 首先 可 能 是 由 于 任务 设置 的 不 合理 造成 的 。 
上 述 研究 几乎 均 采 用 “情绪 辨别 ”作为 外 显 任务 ， 
“性 别 辨别 ”作为 内 隐 任 务 。 相 比 于 情绪 辨别 ,辨别 
说 话 人 的 性 别 更 简单 ， 因 此 被 试 在 完成 性 别 辨别 任 
务 时 可 能 还 不 自主 的 进行 了 情绪 加 工 、 语 义 加 工 等 ， 
从 而 在 结果 中 引入 了 混 消 变量 。 本 研究 将 “性 别 辩 
别 ? 蔡 换 为 “身份 辨别 ” 即 语 音 材 料 均 为 女性 声音 ， 
被 试 的 任务 为 辨别 不 同 身份 的 女性 ， 加 大 了 内 隐 任 
务 的 难度 ， 降低 了 被 试 进行 情绪 加 工 的 可 能 性 。 其 
次 , 已 有 研究 绝 大 多 数 采 用 词语 作为 刺激 材料 ( 例 
如 Bach et al., 2008; Ethofer et al., 2009b; Frihholz 
et al., 2012; Quadflieg et al., 2008; Steber et al., 
2020). 考虑 到 情绪 韵律 为 语音 的 长 时 程 特征 ， 而 单 
个 词 的 呈现 时 间 非 常 有 限 (550~750 ms， 多 为 双 音 
节 词 ),， 我 们 认为 在 情绪 韵律 的 研究 中 应 该 采用 更 
长 的 语音 单元 (例如 句子 ) 作 为 实验 材料 。 此 外 , 已 
有 的 研究 有 的 使 用 有 语义 的 材料 (Beaucousin et al., 
2011; Ethofer et al., 2009b; Mitchell, 2007; Quadflieg 
et al., 2008)， 有 的 使 用 无 语义 的 材料 Bach et al., 2008; 
Frühholz et al., 2012; Steber et al., 2020)， 这 也 可 能 
造成 对 实验 结果 的 干扰 ， 因 此 在 本 研究 中 我 们 使 用 
了 无 语义 的 “ 伪 句 ”。 在 提高 了 内 隐 任 务 的 认 知 负 
和 荷 、 延 长 了 情绪 韵律 材料 的 呈现 时 间 、 排 除了 语义 
加 工 的 干扰 后 , 本 研究 希望 能 更 准确 地 揭示 外 显 和 
内 隐情 绪 韵 律 加 工 的 脑 机 制 差异 。 由 于 已 有 文献 存 
在 大 量 矛 盾 的 结果 , 我们 对 此 问题 无 法 提出 具体 的 
假设 (探索 性 问题 )。 

第 三 ， 基 于 无 噪声 脑 成 像 技 术 的 实验 证 据 需 进 
一 步 累 积 。 已 有 的 绝 大 部 分 情绪 韵律 加 工 脑 机 制 研 
究 使 用 了 fMRI 技术 (Friihholz et al., 2016). fMRI 
是 目前 脑 影 像 研究 中 的 主流 技术 , 能 对 全 脑 的 神经 
活动 进行 较 准 确 的 空间 定位 。 但 fMRI 在 扫描 过 程 
中 由 于 梯度 线圈 定位 等 环节 会 产生 高 强度 的 噪声 ， 
这 对 情绪 韵律 加 工 等 需要 关注 各 种 声学 参数 细节 
的 任务 会 造成 一 定 的 影响 (Dieler et al., 2012). 
此 我 们 建议 基于 声学 感知 通道 的 fMRI 研究 结果 最 
好 能 通过 其 他 脑 成 像 技术 加 以 验证 。 功 能 近 红 外 光 
谱 成 像 技术 (functional near-infrared spectroscopy, 
fNIRS) 具 有 无 噪声 、 对 头 动 相对 不 敏感 等 特点 ,很 
适合 用 于 语音 加 工 研究 。 本 研究 希望 利用 fNIRS 技 
术 得 到 与 已 有 的 fMRI 人 研究 较 一 致 的 情绪 韵律 加 工 
脑 区 。 
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2 方法 
2.1 ”被 试 


采用 G*Power3.1.7 软件 预 佑 样本 量 , 参考 已 
有 类 似 文献 的 效应 量 (partial n? > 0.10; Bach et al., 
2008; Frühholz et al., 2012)， 计 算得 到 16 名 被 试 即 
可 达到 0.95 的 统计 检验 力 (power)。 同 时 , 参考 课题 
组 前 一 项 研究 的 样本 量 (n = 22; Zhang et al., 2018), 
本 研究 招募 了 25 名 (其 中 13 名 女生 ) 大 学 在 校 学 生 
(年 龄 : 20.42 + 2.13 y) 参 与 实验 。 所 有 被 试 均 听力 正 
常 、 右 利 手 。 被 试 排除 标准 : 1) 有 精神 病史 ; 2) 有 头 
部 创伤 史 或 壮 痛 病史 ; 3) 有 严重 躯体 疾病 ; 4) 酒 精 或 
药物 依赖 。 实验 前 告知 被 试 实验 仪器 及 实验 内 容 的 
相关 信息 ,被 试 签署 了 书面 知情 同意 书 , 实验 结 
后 支付 被 斌 一定 的 报酬 。 实验 方案 经 所 属 大 学 伦理 

员 会 批准 。 

2.2 ”实验 材料 和 实验 过 程 

情绪 韵律 材料 选 自 中 国语 音 情 绪 库 (Liu & Pell, 
2012)。 该 库 的 情绪 韵律 语音 为 符合 汉语 语法 规则 
但 无 意义 的 “ 伪 句 ” 每 个 句子 符合 主 、 谓 、 宾 结构 ， 
但 主 谓 宾 成 分 均 采用 无 意义 的 “ 伪 词 ” 从 而 消除 了 
句 意 。 每 个 句子 时 长 约 1~2 s。 本 研究 选取 愤怒 、 
式 惧 、 快 乐 、 中 性 韵律 的 材料 (每 种 情绪 条 件 含 30 
个 伪 句 )。 每 种 情绪 分 别 由 5~9 个 句子 合成 10 s 整 
的 语音 段 。 每 个 10 s 的 情绪 语音 片段 分 别 由 5~8 
句 情绪 语音 (为 同 种 情绪 ) 和 1~4 句 中 性 语音 (填充 刺 
激 ) 组 成 , 伪 句 之 间 无 时 间 间 隔 。 用 120 个 伪 句 制作 
TR LAIR PI FES 5 段 10 POM BL, 伪 句 不 重 
复 使 用 。 每 个 10 秒 的 语音 片段 均 含 两 名 女性 发 声 
的 句子 ,两 个 身份 对 应 的 句子 数量 在 15 段 材料 间 
不 等 。 

本 实验 为 3( 情 绪 : EEL BERR. TDS) x 2( 任 务 : 
外 显 、 内 隐 ) 被 试 内 设计 。 实 验 中 语音 刺激 通过 两 
个 音箱 播放 (EDIFIER-R26T,， 中国 东莞 ), 音响 置 于 
距离 被 试 左右 耳 前 方 约 50 cm 处 , 语音 材料 播放 声 
强 为 60 至 70 dB, 平均 背景 噪声 值 (无 语音 材料 呈 
现时 ) 为 30 dB。 

实验 分 为 两 个 任务 , 任务 间 的 顺序 在 被 试 之 间 
进行 平衡 。 “情绪 外 显 加 工 任 务 ” 要 求 被 试 对 每 段 10 
秒 语音 内 包含 的 情绪 性 句子 和 中 性 句子 进行 计数 ， 
每 段 语 音 结束 后 按键 作答 :“ 情 绪 性 句子 比 中 性 句 
子 的 数量 多 3 个 或 以 上 吗 ? ”( 答 案 “ 是 ”“ 和 否 ” 各 占 
50%)。 该 任务 包含 慌 惧 、 愤 翁 .快乐 3 个 block, block 
的 顺序 在 被 试 间 随 机 排列 。 每 个 block 包含 10 段 
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10 秒 的 语音 (每 个 语音 材料 播放 两 遍 ), 语音 材料 以 
随机 顺序 呈现 , 每 两 段 语音 材料 间 的 静音 时 长 为 
15 秒 减 去 反应 时 。“ 情 绪 内 隐 加 工 任务 "要求 被 试 对 
每 段 10 秒 语音 中 的 两 名 女性 身份 发 音 的 句子 进行 
计数 ,每 段 语音 播放 后 按键 作答 :“ 两 名 女性 播放 的 
句子 的 数量 相差 大 于 2 LENS? ”( 答 案 “ 是 ”、 
“ 否 " 各 占 50%)。 该 任务 同样 包含 3 个 block， 每 个 
block 10 Be 10 秒 的 语音 。 在 两 个 任务 中 , 每 个 
block 持续 约 4 分 钟 ，block 间 被 试 自主 掌握 休息 时 
间 ( 可 选 范围 : 2~10 分 钟 )。 为 控制 语音 和 语义 等 无 
关 变 量 引 入 的 混淆 ， 两 个 任务 使 用 的 30 Be 10 秒 语 
音 材 料 完 全 相同 。 
2.3” 近 红外 数据 记录 

使 用 多 通道 fNIRS 系统 以 连续 波形 式 记 录 大 脑 
活动 (NirScan, HuiChuang, China)。 光 学 探头 的 定位 
采用 国际 10/20 系统 的 NIRS-EEG 兼容 帽 (EASYCAP， 
Herrsching, Germany)。 根 据 已 有 文献 , 本 研究 观测 
的 脑 区 为 双 侧 额 叶 和 桔 叶 。 我 们 使 用 了 13 个 发 射 
器 和 15 个 探测 需 组 成 了 37 个 有 效 观 测 通道 (图 1)， 
发 射 咒 和 探测 需 之 间 的 平均 距离 为 3.2 cm (范围 为 
2.8~3.6 cm)。 在 记录 过 程 中 没有 发 生 探测 器 信号 过 
饱和 的 现象 。 我们 定义 每 个 通道 的 中 间 点 为 该 通道 
探测 的 主要 脑 区 ， 并 以 此 点 为 圆心 进行 每 个 通道 的 
脑 区 标定 。 首 先 采 用 NFRI 工具 包 (http://brain.job. 
affrc.go.jp/tools/) 计 算 每 个 通道 的 MNI 坐标 ， 然 后 
在 成 人 Brodmann Talairach 脑 模 中 (Lancaster et al., 
2000) 查 找 对 应 的 脑 区 。 各 通道 的 坐标 及 脑 区 标定 
信息 见 表 1。 


图 1 NIRS 通道 排 布 图 


2.4” 近 红外 数据 分 析 

采用 NirSpark 软件 (HuiChuang，China) 进 行 数 
据 预 处 理 。1) 使 用 基于 小 波 的 运动 去 伪 迹 方法 
(Molavi & Dumont, 2012) 对 原始 光 密 度数 据 进 行 运 
动 伪 迹 校正 ; 2) 使 用 0.2~0.01 Hz 的 滤波 器 对 数据 进 
行 带 通 滤波 ; 3) 基 于 修正 的 Beers-Lambert 定律 将 滤 
波 后 的 光 密 度数 据 转换 为 HbO 和 HOR 的 浓度 变化 
数据 A[HbO] 和 A[HbR]。 在 本 研究 中 , A[HbO] 比 
A[HbR] 信 品 比 高 ， 对 脑 血 流 的 变化 更 敏感 (Tong 
et al., 2019)， 故 后 续 统计 分 析 均 采用 A[HbO] 数 据 。 

使 用 一 般 线 性 模型 (general linear model, GLM) 
解 算 不 同 条 件 下 任务 相关 的 BEL, 将 B 值 作为 衡量 
相应 脑 区 激活 的 指标 。 采 用 block 设计 ,以 每 段 语 
音 10 s 的 时 间作 为 block 的 长 度 ， 以 此 为 时 间 线 索 
与 HRF 进行 卷 积 。 统 计 分 析 采 用 SPSS 20.0 软件 
(IBM, Somers, USA)。 显 著 性 水 平 设 定 为 0.05。 描 
述 性 统计 量 报告 为 均值 + 标准 差 。 对 每 个 通道 的 B 
值 进行 3( 情 绪 : RRL BUR TRS) x 2( 任 务 : 外 显 、 
内 隐 ) 的 重复 测量 方差 分 析 ， 采 用 Greenhouse- 
Geisser 进行 球形 矫正 ， 采 用 Bonferroni 进行 事后 多 
重 比较 矫正 。 最 后 , 在 通道 间 采 用 FDR 方法 对 p 
值 进 行 多 重 比较 矫正 ， 进 一 步 降 低 假 阳 性 率 。 


3 结 


反应 时 (628.35 + 151.11 ms) 和 正确 率 (91.42% + 
6.30%) 在 各 实验 条 件 间 无 显著 差异 (F < 1)。 

脑 激活 数据 分 析 结 果 如 下 。 首 先 , 我 们 在 通道 
3, 9, 32 发 现 了 情绪 主 效应 ( 表 2, 图 2 及 图 3A)。 事 
后 多 重 比 较 发 现 , 左 侧 的 额 极 和 有 眶 额 皮 层 
(frontopolar/orbitofrontal area; 即 额 中 回 和 和 额 上 回 
的 前 部 , 通道 3) 对 愤怒 语音 最 敏感 (F(2, 48) = 12.51, 
p < 0.001, partial n? = 0.343; corrected p = 0.001; fii 
怒 vs. RHA p= 0.007; 愤怒 vs. 快乐 p = 0.001)。 
左 侧 的 额 下 回 三 角 部 (pars triangularis; Broca 区 的 
一 部 分 ; 通道 9) 对 快乐 语音 最 敏感 (F(2, 48) = 24.26, 
p < 0.001, partial n? = 0.502; corrected p < 0.001; fk 
乐 vs. W/L ps < 0.001) 。 右 侧 缘 上 回 
(supramarginal gyrus, SMG; 通道 32) 对 恐惧 语音 最 
敏感 (F(2, 48) = 12.53, p < 0.001, partial n? = 0.343; 
corrected p = 0.001; ZHR vs. 愤怒 p = 0.001; 21h 
vs. 快乐 p = 0.003). 

其 次 , 我 们 在 通道 27~29 发 现 了 任务 主 效应 
( 表 3, 图 2 及 图 3B)。 在 右 侧 杜 叶 的 三 个 通道 内 ， 外 
显 比 内 隐情 绪 加 工 任务 引起 了 更 强 的 皮层 活动 。 其 
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#1 实验 中 37+ NIRS 通道 的 空间 配 准 信息 
MNI 坐标 


通道 发 射 器 -探测 需 Brodmann 分 区 及 脑 区 重合 度 ” 
x y Z 
1 Fpl-Fpz 一 10 68 =5 10 - Frontopolar area (0.62) 
2 Fp1-AF3 —25 66 4 10 - Frontopolar area (1.00) 
3 Fp1-AF7 =32 62 一 8 10 - Frontopolar area (0.58) 
11 - Orbitofrontal area (0.42) 
4 AFz-Fpz 3 66 11 10 - Frontopolar area (1.00) 
5 AFz-AF3 =12 65 20 10 - Frontopolar area (1.00) 
6 AFz-AF4 16 65 20 10 - Frontopolar area (1.00) 
7 F5-AF7 —46 48 0 10 - Frontopolar area (0.46) 
47 - Inferior prefrontal gyrus (0.34) 
8 F5-F7 =52 39 0 47 - Inferior prefrontal gyrus (0.62) 
9 F5-FCS5 —56 27 16 45 - pars triangularis, part of Broca’s area (0.64) 
10 FT7-F7 =37 21 -13 38 - Temporopolar area (0.68) 
11 FT7-FC5 —61 8 2 22 - Superior temporal gyrus (0.61) 
12 FT7-T7 —66 =7 =14 21 - Middle temporal gyrus (1.00) 
13 C5-FCS5 一 604 =2 24 6 - Pre-motor and supplementary motor cortex (0.67) 
14 C5-T7 —68 = 17 8 42 - Primary and auditory association cortex (0.51) 
15 C5-CP5 —66 -30 28 40 - Supramarginal gyrus, part of Wernicke’s area (0.73) 
16 TP7-T7 一 09 一 31 =9 21 - Middle temporal gyrus (1.00) 
17 TP7-CP5 一 07 一 44 11 22 - Superior temporal gyrus (0.92) 
18 TP7-P7 一 04 三 33 一 4 21 - Middle temporal gyrus (0.58) 
37 - Fusiform gyrus (0.42) 
19 P5-CP5 一 00 —56 28 40 - Supramarginal gyrus, part of Wernicke’s area (0.58) 
20 P5-P7 —58 —68 13 39 - Angular gyrus, part of Wernicke’s area (0.42) 
21 Fp2-Fpz 14 68 = 10 - Frontopolar area (0.66) 
22 Fp2-AF4 28 66 4 10 - Frontopolar area (1.00) 
23 Fp2-AF8 35 63 一 8 10 - Frontopolar area (0.63) 
24 F6-AF8 49 48 1 10 - Frontopolar area (0.45) 
25 F6-F8 54 39 1 47 - Inferior prefrontal gyrus (0.56) 
26 F6-FC6 58 25: 16 45 - pars triangularis, part of Broca’s area (0.69) 
27 FT8-F8 59 21 =12 38 - Temporopolar area (0.62) 
28 FT8-FC6 63 7 3 22 - Superior temporal gyrus (0.63) 
29 FT8-T8 67 = 人 =12 21 - Middle temporal gyrus (1.00) 
30 C6-FC6 66 =3 24 6 - Pre-motor and supplementary motor cortex (0.66) 
31 C6-T8 70 = 8 42 - Primary and auditory association cortex (0.50) 
32 C6-CP6 67 -30 28 40 - Supramarginal gyrus, part of Wernicke’s area (0.78) 
33 TP8-T8 70 一 30 =9 21 - Middle temporal gyrus (0.98) 
34 TP8-CP6 68 一 43 11 22 - Superior temporal gyrus (0.92) 
35 TP8-P8 64 =54 一 4 37 - Fusiform gyrus (0.54) 
21 - Middle temporal gyrus (0.46) 
36 P6-CP6 61 =56 28 40 - Supramarginal gyrus, part of Wernicke’s area (0.61) 
37 P6-P8 57 一 607 13 39 - Angular gyrus, part of Wernicke’s area (0.54) 


HE: * Hops 20 Yb SL Se GE E ST EAK, WPR, KRAI ESER F 0.4 的 脑 区 。 


通道 27 对 应 于 里 极 (temporopolar; F(1, 24) 通道 29 对 应 于 里 中 回 (MTG; F(1, 24) = 15.81, p = 
11.63, p = 0.002, partial n? = 0.325; corrected p = 0.001, partial n? = 0.397; corrected p = 0.003). 
0.004), 通道 28 对 应 于 里 上 回 (STG; F(1, 24) = 26.10, 最 后 , 我们 在 通道 32 发 现 了 任务 类 型 和 情绪 


p < 0.001, partial yn? = 0.521; corrected p < 0.001), 的 交互 作用 (F(2, 48) = 14.24, p < 0.001, partial n? = 
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表 2 情绪 主 效应 结果 


通道 脑 区 F p* 愤怒 B 值 恐惧 B 值 快乐 值 
3 L Frontopolar/orbitofrontal area 12.51 0.001 0.21 + 0.20 0.12 + 0.23 0.06 + 0.20 
9 L pars triangularis/Broca’s area 24.24 < 0.001 0.10 + 0.16 0.10 + 0.15 0.21 + 0.15 
32 R Supramarginal gyrus 12.48 0.001 0.10 + 0.56 0.36 + 0.51 0.11 + 0.45 


注 : *The p was corrected using FDR method across fNIRS channels. 


表 3 任务 主 效应 结果 


通道 脑 区 F p* Pa Bot B 值 外 显 B 值 
27 R Temporopolar area 11.62 0.004 0.04 + 0.36 0.32 + 0.42 
28 R Superior temporal gyrus 26.17 < 0.001 0.05 + 0.45 0.37 + 0.43 
29 R Middle temporal gyrus 15.84 0.003 一 0.03 + 0.49 0.34 + 0.53 
注 :* The p was corrected using FDR method across fNIRS channels. 

BE 内 隐情 绪 E 外 显 情绪 
0.8 r 通道 3 0.8 「 通道 9 osp 通道 32 。 六 
0.7 + 0.77 
0.6 F 0.67 
号 0.5 上 eee 3B 0.5 上 
S 04+ < 0.4 上 
S 0.3 F 0.3} 
0.2 F 0.27 
0.1 F 0.17 
0 0 
EZ WE RA 愤怒 ORR 
0.7 p 通道 28 0.77 M29 
0.6 米 六 = 玉米 0.6 -> 六 六 
0.5 0.5 ah 
2 04 2 04 
$ 03 Š 03 
S o2 S 02 
0.1 0.1 
0 0 
$ —0.1 
EE WERE 快乐 Be WE 快乐 Bie ARE 快乐 


图 2 不 同 脑 区 在 情绪 和 任务 条 件 


图 3 脑 区 激活 的 成 像 图 。 


PÉJ errorbar 表示 均值 的 标准 误 。 
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0.372; corrected p = 0.002; 图 2 及 图 3C), 该 通道 对 
应 于 右 侧 SMG。 简 单 效 应 分 析 表 明 , 在 外 显 任务 中 ， 
右 侧 SMG Aki K XTAB 值 : 0.63 + 0.43) 比 对 愤怒 
(0.06 + 0.44) 和 快乐 韵律 (0.10 + 0.34) 更 敏感 (F(2, 23) = 
102.27, p < 0.001, partial n° = 0.898)， 而 该 情绪 效应 
在 内 隐 任 务 中 不 显著 (F < 1; ERRAR BIE = 
0.10 + 0.44/0.14 + 0.66/0.12 + 0.55). 


4 讨论 


本 研究 利用 fNIRS 技术 , 探讨 了 外 显 和 内 隐情 
绪 任 务 下 ,情绪 韵律 加 工 的 大 脑 皮 层 神经 活动 。 结 
RR, 外 显 情绪 任务 比 内 隐 任 务 更 强 地 激活 了 右 
侧 里 叶 的 STG. MTG Fs, BAA A MUI E 
绪 任 务 相 关 的 语音 韵律 感知 中 发 挥 了 重要 作用 。 我 
们 还 发 现 , 不 同 种 类 情绪 的 辨别 性 解码 依赖 于 额 区 
的 IFG, OFC, 且 无 论 在 外 显 还 是 内 隐情 绪 任 务 中 
这 些 脑 区 均 会 激活 。 而 项 叶 的 SMG 脑 区 仅 在 外 显 
任务 中 可 辨别 出 恐惧 韵律 。 

情绪 主 效应 表明 , 大 脑 在 情绪 任务 相关 和 无 关 
条 件 下 均 可 分 辨 不 同 种 类 的 情绪 韵律 。 相 较 于 恕 惧 
和 快乐 韵律 ,局 怒 韵律 更 强 的 激活 了 左 侧 的 额 极 和 
OFC 脑 区 。 这 一 发 现 与 此 前 在 情绪 韵律 辨别 任务 
(Kotz et al., 2013) 和 被 动 收 听任 务 (Zhang et al., 2018) 
中 得 到 的 结果 非常 相似 。 OFC 不 但 在 愤怒 情绪 的 加 
工 中 具有 重要 作用 (Lindquist et al., 2012), 同时 也 
负责 冲突 解决 和 抑制 不 恰当 的 行为 (例如 攻击 行为 ) 
(Beyer et al., 2014)。OFC 损伤 的 病人 更 具有 攻击 倾 
向 , 且 在 主观 情绪 状态 评估 、 情 绪 信 息 整 合 、 情 绪 韵 
律 辨识 方面 存在 显著 缺 隐 (Fox et al., 2018; Herpertz 
et al., 2017; Paulmann et al., 2010)。 与 愤怒 韵律 对 应 
OFC 的 结果 类 似 , 我 们 还 发 现 左 侧 额 区 的 下 G 可 以 
TES) Sb BUA BEE ARE OR. MEERA TR BS EP 
异性 地 区 分 出 快乐 韵律 ， 这 一 结果 与 此 前 在 成 人 
(Zhang et al., 2018) 和 新 生 儿 (Zhang et al., 2019) 情 
绪 韵 律 被 动 收听 任务 中 的 发 现 相 符 。 具 体 的 , 我们 
在 通道 9 发 现 的 这 一 结果 ,其 脑 区 定位 于 IFG 的 三 
角 部 (pars triangularis)， 此 区 域 在 语义 理解 和 语义 - 
情绪 韵律 等 语言 信息 整合 中 具有 关键 作用 (Goucha 
& Friederici, 2015; Kirby & Robinson, 2017; Schirmer 
& Kotz, 2006), 一 项 关注 讽刺 理解 的 研究 发 现 ， 左 
侧 IFG 在 语 境 、 语 义 和 韵 律 整合 加 工 中 发 挥 了 重要 
作用 ， 当 出 现 赞扬 性 的 语义 和 负 性 情绪 的 韵律 时 
( 即 讽刺 )， 该 脑 区 激活 增加 (Matsui et al., 2016)。 在 
另 一 项 听觉 情绪 和 社会 判断 的 研究 中 , 左 侧 IFG 被 


认为 同时 参与 了 社会 特质 评估 (信任 度 评估 ) 和 说 话 
者 快乐 程度 评估 (Hensel et al., 2015). Kotz 等 人 的 
两 项 研究 发 现 , 与 中 性 韵律 相 比 , 快乐 韵律 激活 了 
左 侧 IFG (Kotz et al., 2003; 2013)， 而 Johnstone 等 
人 的 研究 则 观察 到 快乐 韵律 使 右 侧 IFG 激活 增强 
(Johnstone et al., 2006). IFG 激活 的 左右 半球 不 一 
致 结果 可 能 是 实验 设置 或 情绪 材料 的 不 同 造成 的 : 
在 Kotz 等 人 (2003; 2013) 的 实验 中 ,被 试 仅 加 工 语 
音韵 律 ， 而 在 Johnstone 等 人 (2006) 的 实验 中 , 被 试 
在 收听 语音 韵律 的 同时 还 需 观 察 情 绪 信 息 一 致 或 
不 一 致 的 面部 表情 。 本 研究 的 情绪 材料 与 Kotz 等 
人 (2003; 2013) 的 研究 相似 ， 因 此 发 现 快乐 韵律 特 
异性 的 激活 了 左 侧 IFG。 由 于 对 情绪 条 件 进行 了 两 
两 对 比分 析 , 本文 发 现 了 愤怒 和 快乐 情绪 韵律 对 应 
的 “特异 性 脑 区 ”， 这 一 结果 在 之 前 那些 仅 对 比 某 种 
情绪 与 中 性 条 件 的 研究 中 是 未 曾 得 到 的 。 

根据 情绪 韵律 加 工 的 层次 模型 ,在 情绪 韵律 加 
工 的 第 三 层次 ,OFC IFG 等 额 区 负责 对 语音 的 情绪 
信息 进行 精细 加 工 , 这 一 层次 需要 依赖 于 注意 或 外 
显 性 情绪 评估 (Briick et al.，2011)。 而 本 文 在 OFC 
和 IFG 脑 区 的 发 现 与 此 结论 不 符 。 回 滴 已 有 的 采用 
外 显 和 内 隐情 绪 任 务 考察 情绪 韵律 加 工 的 研究 发 
M, 那些 观察 到 OFC/IFG 在 外 显 任 务 中 的 激活 强 
于 内 隐 任 务 的 研究 大 多 选用 了 有 语义 的 词 (Ethofer 
et al., 2009b; Quadflieg et al., 2008) 或 句子 (Beaucousin 
et al., 2011) 作 为 实验 材料 ， 而 那些 观察 到 额 区 在 外 
显 和 内 隐 任 务 中 均 有 明显 激活 的 研究 往往 选用 了 
不 具有 语义 的 情绪 韵律 材料 (例如 Friihholz et al., 
2012; Steber et al., 2020). 因此 我 们 推断 语义 加 工 对 
情绪 韵律 加 工 可 能 造成 了 干扰 或 影响 。 目 前 我 们 发 
现 的 唯一 的 一 项 例外 研究 为 Bach 等 人 (2008), 他 们 
虽然 在 实验 中 采用 伪 词 作为 语音 材料 ,但 仍然 观察 
到 左 侧 IFG 在 外 显 比 在 内 隐 条 件 下 的 激活 更 强 。 然 
而 该 研究 选用 性 别 辨 别 作为 内 隐 任 务 ， 正 如 引言 所 
述 , 性 别 辨 别 的 难度 远 小 于 情绪 辨别 (该 研究 中 ， 
正确 率 和 反应 时 在 两 种 任务 中 存在 显著 差异 )， 这 
有 可 能 对 结果 造成 影响 ;此 外 Bach 等 人 (2008) 仅 招 
募 了 16 名 被 试 进行 实验 , 样本 量 稍 小 。 本 研究 使 用 
“身份 辨别 ”作为 内 隐 任 务 , 匹配 了 内 隐 和 外 显 条 件 
间 的 任务 难度 ， 而 且 我 们 采用 无 语义 的 伪 句 作为 实 
验 材 料 。 在 此 基础 上 我 们 发 现 , 额 区 OFC/IFG 在 外 
显 和 内 隐 任 务 中 均 可 区 分 不 同 种 类 的 情绪 韵律 ， 
此 本 研究 能 比较 有 信心 地 对 层次 模型 第 三 层次 的 
加 工 理论 提出 质疑 。 
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我 们 的 结果 还 表明 , 右 侧 SMG Hii DC epee 
律 有 相对 特异 性 的 加 工 ， 这 一 发 现 是 未 曾 预 期 到 
HJ o SMG 是 参与 语言 感知 和 加 工 的 脑 区 之 一 , 该 脑 
区 损伤 会 导致 感觉 性 失语 症 。SMG 也 参与 身体 姿 
势 的 加 工 , 被 认为 是 镜像 神经 元 系统 的 一 部 分 
(Carlson, 2012), AM] SMG 更 是 与 语音 韵律 加 工 
(Hartwigsen et al.，2010) 和 情绪 感知 相关 (Adolphs 
et al., 2000; Aryani et al., 2018)。K6chel 等 人 认为 
SMG 与 注意 .警觉 功能 密切 相关 (区 5chel et al., 2013). 
AAT AS OTS Ae AL RK .中 性 的 非 言语 声音 ， 发 
现 当 被 试 加 工 恐 惧 声 音 时 (例如 慌 惧 或 痛苦 引发 的 
RAY), 右 侧 STG 和 双 侧 SMG 的 激活 显著 增加 。 此 
yh, Patel 等 人 (2018) 发 现 ,情绪 韵律 的 表达 功能 受 
损 与 SMG 受 损 有 关 。 更 值得 关注 的 是 ,SMG 是 本 
研究 中 观察 到 的 唯 个 同时 受 情绪 和 任务 调控 
的 脑 区 : 右 侧 SMG 仅 在 外 显 情绪 任务 中 表现 出 对 
Tek EA ee ET. TT, 在 此 前 的 成 人 情 
绪 韵 律 被 动 收听 任务 中 (Zhang et al.，2018) 我 们 并 
未 观察 到 右 侧 SMG STR EY BURR HE, 这 也 说 
BH TZ Ri DK OP eR BL Tig 2h FY) DOT The EA 4 BEY TE 2 
相关 任务 的 参与 。 另 一 方面 , AM SMG XRRR 
律 的 特异 性 加 工 与 课题 组 此 前 在 新 生 儿 研究 中 的 
发 现 一 臻 (Zhang et al., 2017; Zhang et al., 2019), 这 
说 明 人 类 在 刚 出 生 时 其 大 脑 即 可 对 灵 ， 惧 情绪 韵律 
进行 快速 反应 ， 此 过 程 与 是 否 有 情绪 任务 参与 无 
Ko 结合 我 们 在 成 人 和 新 生 儿 实验 中 对 邵 惧 情绪 韵 
律 的 发 现 ,我 们 认为 这 可 能 反映 了 人 类 在 进化 过 程 
中 发 展 出 的 对 慌 惧 情绪 的 先天 性 加 工 俩 向 ， 即 出 生 
时 可 以 自动 地 对 疏 惧 情绪 产生 敏感 的 脑 反 应 ， 而 随 
FFRIK, XAA RS E KI D T r aE Z FL 
的 加 工 ) 则 需要 主动 的 外 显 情绪 任务 参与 。 

本 研究 的 任务 主 效应 的 表明 ， 相 较 于 内 隐 任 务 ， 
右 侧 MTG, 、STG、 杜 极 在 情绪 外 显 任务 下 激活 显著 
增强 ， 这 一 结果 与 情绪 韵律 加 工 的 层次 模型 (Bach 
et al., 2008; Brück et al., 2011; Ethofer et al. 2006; 
Schirmer & Kotz, 2006; Witteman et al., 2012) 完 全 
吻合 ,也 符合 情绪 语音 韵律 加 工 的 右 侧 化 理论 ( 见 
综述 Belyk & Brown, 2014)。 右 侧 STC 是 “情绪 语音 
脑 区 ”(emotional voice area; Ethofer et al., 2012; 
Liebenthal et al，2016) 的 最 主要 结构 ， 是 情绪 性 语 
音 解 码 的 关键 脑 区 ( 见 综述 Frihholz & Grandjean, 
2013a) o STC 的 低级 结构 (初级 听觉 皮层 和 mid-STC) 
负责 解析 情绪 声音 (包括 语音 、 人 类 非 语音 、 自 然 
界 声音 ) 的 听觉 特征 ,而 STC 的 高 级 结构 将 这 些 解 


析出 的 音频 特征 整合 并 构建 出 对 情绪 语音 的 感知 
(Friihholz et al., 2016; Schirmer & Kotz, 2006), 已 有 
研究 表明 STC 对 情绪 性 语音 比 对 中 性 语音 有 更 强 
的 激活 (Bach et al., 2008; Briick et al., 2011; Ethofer 
et al., 2009b; Frihholz et al., 2012; Kotz et al., 2003; 
Mothes-Lasch et al., 2011; Witteman et al., 2012). 本 
研究 发 现 , STC 对 情绪 韵律 的 外 显 性 加 工 有 明显 的 
右 侧 化 优势 ， 与 已 有 文献 一 致 (Frihholz et al., 2016; 
Kotz et al., 2013)， 也 说 明 右 脑 对 语音 中 的 慢 变 信号 
和 超 音 段 特征 敏感 (Witteman et al., 2012)。 考 虑 到 
右 侧 STG 是 经 典 的 音 高 (pitch) 加 工 脑 区 (Patterson 
et al., 2002), 本文 观察 到 的 外 显 情绪 任务 效应 也 可 
能 反应 了 右 侧 STG 在 情绪 辨别 任务 中 对 音 高 进行 
EIWIT, BHR, ARR EEH E 
高 于 中 性 韵律 ; 音频 材料 信息 见 Liu & Pell, 2012) 
本 研究 发 现 的 情绪 韵律 外 显 性 加 工 的 里 区 右 侧 化 
优势 可 帮助 临床 对 脑 疾 病 进 行 诊断 ,例如 判断 疗 病 
的 病灶 、 评 佑 癫痫 及 大 脑 需 质 性 病变 之 后 的 脑 功 能 
可 塑性 (Alba-Ferrara et al., 2018)。 

Se EAT, WRR, RHEL PRR 
加 工 的 特异 性 脑 区 分 别 位 于 左 侧 OFC, AM SMG 
MEM 正 G。 我 们 还 发 现 右 侧 STC (包含 MTG、STG 
等 ) 以 及 右 侧 SMG 在 外 显 性 情绪 韵律 任务 中 的 重要 
作用 。 本 研究 的 结果 部 分 支持 了 情绪 韵律 加 工 的 层 
次 模型 ， 也 对 该 模型 的 第 三 层次 ， 即 “ 额 区 对 语音 
情绪 信息 的 精细 加 工 需 要 外 显 性 情绪 任务 参与 提 
出 了 质疑 。 此 外 , 由 于 fNIRS 技术 本 身 的 局 限 性 ， 
本 研究 无 法 探测 到 大 脑 较 深部 的 、 与 情绪 韵律 加 工 
密切 相关 的 脑 区 (例如 村 上 沟 和 杏仁 核 )。 我 们 建议 
本 领域 的 探索 除了 依赖 {MRI、fNIRS 、 脑 磁 图 等 多 
种 影像 技术 ,还 需 结合 脑 损 伤 研究 、 经 颅 磁 刺 激 技 
术 ( 特 别 是 最 新 发 展 起 来 的 深部 经 颅 磁 刺激 ) 等 进 一 
步 展 开 。 
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Abstract 


Emotional expressions of others embedded in speech prosodies are important for social interactions. 


Affective prosody refers to a way to express and convey emotions through the dynamic changes of various 


acoustic cues such as pitch, intensity, stress, and intonation in speech, without relying on vocabulary and 


grammatical structure. Previous studies have shown that STC, IFG, OFC, and other cerebral cortex and 


subcortical structures are involved in emotional prosody processing, and gradually formed a hierarchical model. 


However, existing studies on the neural mechanism of emotional prosody processing mostly focus on the 


difference between non-neutral emotional prosody and neutral prosody, while the comparison between various 


non-neutral emotional prosody is less investigated. Besides, the differences involved in brain regions of 


emotional prosody processing under explicit and implicit tasks are still not clear. Furthermore, it is necessary to 


further accumulate experimental evidence based on noise-free brain imaging technology, such as the noise-free 


features of fNIRS are especially suitable for speech processing research. 


This study used functional near-infrared spectroscopy to investigate how speech prosodies of different 
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emotional categories are processed in the cortex under different task conditions. A group of 25 college students 
participated in this study with a 3 (emotion: anger vs. fearful vs. happy) by 2 (task focus: explicit vs. implicit) 
within-participant factorial design. We manipulated task focus by adopting two different tasks, with emotional 
discrimination task as explicit condition and sex discrimination task as implicit condition. Ten phonological 
materials for each of anger, fearful, and happy prosody were selected from the Chinese Speech Emotion 
Database and consisted of the corresponding emotional prosodies and neutral prosodies. The emotional explicit 
task was to count the emotional and neutral sentences contained in each 10-second speech, and the emotional 
implicit task was to count the sentences played by two women in each 10-second speech. A multi-channel fNIRS 
system was used to record brain activity in a continuous waveform. According to existing literature, the brain 
regions observed in this study are the bilateral frontal and temporal lobes. Therefore, we used 13 emitters and 15 
detectors to form 37 effective observation channels. 

We first adopted NirSpark-2442 software to preprocess the data, and then conducted general linear model 
analyses to calculate the cortical activation related to the task. The results showed that the brain activation was 
significantly higher when anger was contrasted to fearful and happy prosody in left frontal pole / orbitofrontal 
cortex, and when happy was contrasted to fearful and anger prosody in left inferior frontal gyrus, and when 
fearful was contrasted to anger and happy prosody in right supramarginal gyrus. Importantly, there was an 
interaction between emotion and task. In the explicit task, cortex activity in the right supramarginal gyrus was 
more sensitive to fearful than to anger and happy prosodies. But no similar results were found under anger and 
happy prosody. In addition, the brain activation in temporopolar, superior temporal gyrus, and middle temporal 
gyrus with the explicit task was greater than that in the implicit task. 

The present study demonstrated the specific brain regions for processing angry, fearful and happy prosody 
were left frontal pole/orbitofrontal cortex, right supramarginal gyrus, and left inferior frontal gyrus respectively, 
and the important role of right superior temporal gyrus and right supramarginal gyrus in emotional explicit task. 
These findings partially support the hierarchical model of emotional prosody and question the third level of the 
model. 

Key words emotion, phonetic prosody, superior temporal gyrus, orbitofrontal cortex, inferior frontal gyrus, 
supramarginal gyrus 


